CONES NILPOTENTS DES SUPER ALGEBRES DE LIE 
ORTHOSYMPLECTIQUES 

CAROLINE GRUSON AND SEVERINE LEIDWANGER 



1. Introduction 

Soient to, n deux entiers positifs et soit g = osp(to, 2n) — go © gi la super algebre de Lie 
orthosymplectique correspondante. On note ad : g — * End(g) Taction adjointe. Soit A/i (resp. 
TVo) le cone forme des X £ osp(m, 2n)i, (resp. X e osp(to, 2n) ) tel que ad(X) est un element 
nilpotent de End(g): c'est le nilcone impair (resp. le nilcone pair). 

Depuis les travaux de Springer ([Spl], [Sp2]), il est bien connu que les orbites nilpotentes d'une 
algebre de Lie semi-simple a sont intimement liees aux representations irreductibles du groupe de 
Weyl de a et l'un des elements de cette construction de Springer est la desingularisation du cone 
nilpotent de a par un fibre vectoriel au dessus de la variete des sous-algebres de Borel de a. 

Dans cet article, nous nous interessons au cone nilpotent impair A/i de g. D'une part nous 
etudions les orbites nilpotentes qui le constituent et leurs liens avec les orbites nilpotentes du 
cone nilpotent pair A/o, liens obtenus par l'intermediaire de l'application k, definie par gi — > 
go, 1 1-4 X]. Nous donnons une nouvelle description de la parametrisation de ces orbites 
obtenue par Kraft et Procesi dans [KP], la notre etant fondee sur la parametrisation des orbites 
nilpotentes paires (Proposition [3]) . Nous etudions ensuite la relation d'ordre (partiel) d'inclusion 
sur les (Zariski) adherences des orbites nilpotentes impaires en utilisant les resultats correspondants 
de Ohta [Oh], Djokovic et Litvinov [DL] sur les orbites nilpotentes reelles classiques (Proposition 
i). 

Cette relation d'ordre a pour corollaire Pirreductibilite des fibres de la restriction de k a A/i dont 
nous donnons une description (Proposition |4j. Remarquons que la fibre de est exactement le 
cone autocummutant dont la geometrie est etroitement reliee a la connaissance de la cohomologie 
deg ([Grl], [Gr2]). 

D'autre part, nous donnons, dans les cas osp(2n + l,2n) et osp(2n, 2n), une desingularisation 
de ce nilcone, analogue a celle de Springer pour Ao, sous la forme d'un fibre vectoriel au dessus de 
la variete des drapeaux de la partie paire (Theoremc[I|. 

Dans ce but, nous introduisons la notion de sous- algebre de Borel mixte (Definition [5]) et nous 
montrons que ces sous-algebres de Borel rencontrent toutes les orbites nilpotentes. 

Nous remercions chaleureusement Laurent Gruson, Frederic Han et Nicolas Pcrrin pour de 
nombreuses discussions et Michel Duflo pour ses remarques. 

2. Notations, definitions, rappels 
Le corps de base est celui des nombres complexes. 

Soient m > l,n > 1 deux entiers. Soit V — Vo © Vi, un espace vectoriel Z/2Z-gradue de 
dimension TO + e2n (dimVo — to, dimVi = 2n), muni d'une forme bilineaire orthosymplectique non 
degeneree B : on a B\ VgxVo est symetrique, B\y lX y x est alternee et B\y oXVl et B\ VlxVo sont nulles. 

On choisit des bases de V et de V\ comme suit : si to = 2p on prend une base e[, . . . , e' 2p de 
Vq avec B{e' i ,e'j) = di^p+i-j, si to = 2p + I une base eo,...e2 P avec B(ei,ej) — Si^p-j- Soit 
fx, . . . , f 2n une base de V x verifiant B{f i J j ) = S^n+i-j si i < j, B(f h fj) = -S^n+i-j si i > j- 
On identifie les endomorphismes de V avec les matrices correspondantes dans ces bases. 
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On considcrc la super algebre de Lie osp(m, 2n) constitute des matrices des endormorphismes 
de V qui respectent B. 

On a g = osp(m, 2n) = flo © Bi avec go = o(m) x 5p(2n) et gi ~ Vq <S> Vi. Remarquons qu'un 
element de osp(m, 2n) est une matrice par blocs de la forme ( a ^ , ou a G o(m), 6 G sp(2n), 
it G Hom(Vo, Vi) et it* se deduit de u par 

t / u T r ait T r* *" T r* sym T . 
Ko — + V\ ► V 1 > K >Vo. 

> 

Soit Go = SO(m) x SP(2n), c'est un groupe algebrique complexe connexe. On connait par [Vu] 
l'anneau S(qI) g °, c'est un anneau de polynomes. On notera A/"i le lieu d'annulation de tous les 
elements homogenes non constants de S(2l) G ° , c'est le cone nilpotent impair (ou nilcone impair de 
g). Remarquons que, selon la terminologie de Mumford, c'est le lieu instable du go-module gi et 
selon la terminologie de Kac dans [Ka2], le nilcone du go-module gi. II est constitue des elements 
X de gi tels que l'endomorphisme ad(X) de g est nilpotent. On note A/"o le cone nilpotent de la 
partie paire. 

Soit k l'application de gi dans go dermic par k(X) — ^[X,X]. 
On a k : Af% — > 7V 

u i y (u* o u, u o u*). 
On remarque que comme le crochet de g restreint a la partie impaire est symetrique, k n'est pas 
identiquement nullc. 

2.1. Diagrammes. 

Une partition A = (Ai, . . . , A s ) est une suite decroissante d'entiers strictement positifs. Les Aj 
sont appelees parts de A. Le nombre de parts, note est la longueur de A. Si J2i = n i on dit 
que A est une partition de n. On appelle sous-partition toute suite decroissante d'entiers formee 
d'une sous-suite decroissante de A et eventuellement de 0. 

On note D(\) le diagramme de Young de forme A. 

Definition 1. Un diagramme gradue D est un diagramme de Young dans lequel chaque case 
est remplie par un ou un 1, de telle maniere que les etiquettes alternent sur les lignes. Deux 
diagrammes gradues sont consideres comme egaux si Von peut passer de I'un a V autre en echangeant 
des lignes de meme longueur. Un sous- diagramme de D est un diagramme obtenu en effagant des 
lignes de D. 

A un diagramme gradue on associe deux partitions do et d±, correspondant aux diagrammes 
obtenus en effagant les cases 1 (resp. les cases 0) dans le diagramme gradue et en reordonnant les 
lignes afin d'obtenir le diagramme d'une partition. On peut voir un exemple sur la figure [T] 



10 1 o 1 

1 1 

1 1 1 



Figure 1. D,d ,di 

Une ligne commengant par une case etiquctec (resp. 1) est dite paire (resp. impaire). 

2.2. Parametrisation des orbites nilpotentes des algebres de Lie symplectiques et or- 
thogonales. 

La parametrisation des orbites nilpotentes des algebres de Lie semi-simples complexes est decrite 
dans [CM]. 
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Proposition 1. [CM] 

• Les orbites nilpotentes sous SO(2n + 1) de o(2n + 1) sont parametrees par les partitions 
de In + 1 pour lesquelles les parts paires apparaissent avec une multiplicite paire, on note 
indifferemment P (2n+i)etiq ou Po(2n+i) I'ensemble de ces partitions. 

On a par exemple P (5)eU q = {(5), (3, 1, 1), (2, 2, 1), (1, 1, 1, 1, 1)}. 

• Celles de o(2n) sous 0(2n) sont parametrees par les partitions X de 2n pour lesquelles les 
parts paires apparaissent avec multiplicite paire, notons P (2n) cet ensemble. 

• Celles de o(2n) sous SO(2n) sont parametrees par les partitions X de 2n pour lesquelles 
les parts paires apparaissent avec multiplicite paire excepte pour les partitions formees 
uniquement de parts paires apparaissant avec des multiplicites paires, appelees tres paires. 
Dans ce cas on considere les partitions etiquetees X 1 et X 11 correspondant a deux or- 
bites differentes. Les etiquettes I et II etant definies grace aux diagrammes de Dynkin 
ponderes lem 5.3.5 [CM]. On note P (2n)eUq I'ensemble de ces partitions etiquetees. On 
a par exemple P o(s)etlq = {(7, 1), ((5, 3), (4 2 ) / , (4 2 ) 77 , (5, l 3 ), (3 2 , l 2 ), (3, 2 2 , 1), (3, l 5 ), (2 4 ) 7 , 
(2 4 )",(2 2 ,1 4 ),(1 8 )}. 

• Celles de sp(2n) sous SP(2n) sont parametrees par des partitions de 2n pour lesquelles les 
parts impaires apparaissent avec une multiplicite paire, notons P s p(2n) I'ensemble de ces 
partitions. On a par exemple P S p(4) — {(4), (2, 2), (2, 1, 1), (1, 1, 1, 1)}. 

On en deduit une parametrisation des Go-orbites nilpotentes de TVo de la super algebre de Lie 
osp(m, 2n). Elles sont parametrees par des paires de partitions (A,/i) € P [ m ) e tiq x P$p(2n)- 

2.3. Parametrisation des 0(m) x S'P(2ri)-orbites nilpotentes de Hom(Vo, V\) x Hom(Vi, Vo). 

Nous rappelons ici les resultats de Kraft et Procesi ([KP]). 
Proposition 2. [KP] 

Les O(m) x SP(2n)- orbites nilpotentes de gi sont parametrees par des diagrammes gradues D 
formes des diagrammes gradues indecompo sables decrits ci-apres. On note Od I'orbite associee a 
D. 

Soit p un entier quelconque, les differents diagrammes indecomposables sont 

(1) une ligne paire de longueur Ap + 1, p > 

(2) une ligne impaire de longueur ip — 1, p > 1 

(3) deux lignes paires de longueur Ap — 1, p > 1 

(4) deux lignes impaires de longueur Ap + 1, p > 

(5) deux lignes, I'une paire V autre impaire de longueur 2p, p > 1. 

On note T>{m,2n) I'ensemble des diagrammes gradues formes par ces diagrammes gradues inde- 
composables. 

3. L 'application k 

Dans le cas de la super algebre de Lie osp(m, 2n) avec m impair, les 0(m) x 5P(2n)-orbites 
nilpotentes de Q\ et les Go-orbites de gi sont les memes, la proposition precedente nous permet 
done de parametrer les orbites nilpotentes de fli. 

Dans le cas de osp(m, 2n) avec m pair, ce n'est pas le cas. Certaines 0(m) x 5P(2n)-orbites 
sont l'union de deux Go-orbites distinctes dans gi qu'on ne peut differencier par les diagrammes. 

On donne dans un premier temps une nouvelle description des diagrammes apparaissant dans 
la proposition [21 

Proposition 3. Pour m > 1, les 0{m) x SP(2n)- orbites nilpotentes de osp(m, 2n) dans Qi sont 
parametrees par des diagrammes gradues D de forme v une partition de m + 2n tels que 

(1) le nombre k de lignes de longueur paire de D est pair, et dans D il y a k/2 lignes paires 
(resp. impaires) de cette longueur. 
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(2) Soit (do,di) le couple de partitions associe a D, on a (do,di) G P a ( m ) x P$p(2n)- 

Demonstration - Soient D G T>(m,2n) et la 0(m) x S'P(2n)-orbite associee, la condition 1 
de la proposition provient du cas 5 de la proposition [2j Soit X = (u,u*) G Op. Les diagrammes 

gradues nous donnent la dimension des noyaux des X 1 . Or on a [X, X] = 2 ( U ° U ^ ^„ \ G 

Afo- Lorsque dans le diagramme gradue on efface les cases etiquetees 1 (resp. 0) on ne garde 
que la dimension des noyaux des homomorphismes de Vo dans Vo (resp. V\ dans Vi) obtenus en 
restreignant les X 21 a Vo (resp. Vi). On obtient ainsi une partition indexant une (ou deux) orbites 
de o(m) (resp. Sp(2n). On a done (d ,<2i) G P ( m) x P ep ( 2n )- 

Montrons que (do,d\) G P ( m )xsp(2n) e t <l ue deux diagrammes gradues de meme forme ne 
peuvent avoir deux couples de partitions associees egaux. 

Supposons qu'il existe deux diagrammes D et D' distincts de forme v et de couples de partitions 
associees (X,fi). Cela signifie que, dans l'un des diagrammes on a une ligne paire de longueur 2k 
(et pas de ligne impaire de meme longueur), et dans l'autre une ligne impaire de longueur 2k (et 
pas de ligne paire de meme longueur) . Mais ceci est en contradiction avec le fait que le diagramme 
gradue est forme d'elements de la proposition [2j 

II reste a montrer qu'avec un couple de partitions (A, /i) G P (m) x Psp(2n) 011 peut former un 
diagramme gradue, et qu'en rajoutant la condition 1 de la proposition, ce diagramme est toujours 
dans V(m, 2n). 

Soit A G P ( m )- Elle est formee d'elements indecomposables de deux sortes 

• cas (0-1) une part de longueur impaire, 

• cas (0-2) deux parts de longueur paire. 

Soit fi G P sp (2n)- Elle est formee d'elements indecomposables de deux sortes, 

• cas (1-1) une part de longueur paire, 

• cas (1-2) deux parts de longueur impaire. 

Etudions tous les couples possibles aboutissant a des diagrammes indecomposables. Pour pouvoir 
construire une ligne de diagramme gradue a partir de ces indecomposables il faut que les parts 
qu'on associe verifient |A» — fij\ < 1. 

• cas (0-1) xcas (1-1): on obtient soit une ligne impaire de longueur 4p — 1, soit une ligne 
paire de longueur 4p + 1 i.e. cas 1 et 2 de la proposition [2] 

• cas (0-2) x cas (1-2): on obtient soit deux lignes impaires de longueur 4p + 1, soit deux 
lignes paires de longueur 4p — 1, cas 3 et 4 de la proposition O 

• cas (0-1) x cas (1-2): soit dans A on a deux parts impaires de longueur 2p+l et on obtient 
une ligne paire de longueur 4p + 2, une ligne impaire de longueur Ap + 2 i.e cas 5 de la 
proposition [2 soit ce n'est pas le cas et on obtient alors une seule ligne paire et ce cas est 
incompatible avec la condition 1 de la proposition. 

• cas (0-2) x cas (1-1): se traite de la meme maniere que le cas precedent. 

□ 

Pour pouvoir ensuite parameter les Go-orbites nilpotentes on introduit la definition suivante. 

Definition 2. Soit D G T>(m, 2n) un diagramme gradue verifiant les hypotheses de la proposition 
precedente. Si do est tres paire alors a d^ (resp. d^ ) on associe un diagramme gradue etiquete 
D 1 (resp. D u ) sinon on garde D. L 'ensemble des diagrammes gradues ainsi construit est appele 
ensemble des diagrammes gradues etiquetes et note"D{m,2ri) e tiq- 

Proposition 4. Les Go-orbites nilpotentes de osp(m,2n) dans jji sont parametrees par des dia- 
grammes gradues etiquetes. 

Soit D — (g? ,g?i) un diagramme gradue etiquete, on note Ou la Go-orbite nilpotente telle que 
k(O d ) = O d i >dl . 
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Demonstration - Soit D £ V(m, 2n) e uq et (d l , di) son couple de partitions associe. Si do est tres 
paire (i.e. i = I ou i = II) alors clairement Od est unique. Si do n'est pas tres paire le resulat 
decoule de la proposition precedente, et du lemme 4.3 de [KP]. 

□ 

II existe une relation d'ordre (partiel) d'inclusion sur les (Zariski) adherences des Go-orbites 
nilpotentes impaires. Soit D G X>(m, 2n), D' £ T>(m,2n), on ecrit que Od < Od' si Od est 
contenue dans l'adherence de Zariski de Od>- 

II en existe aussi une sur l'ensemble X>(m, 2n) (resp. V(m,2n) e tiq). On peut en trouver une 
definition dans [Oh]( resp. [DL]). 

Definition 3. [Oh] 

• Soit D £ T>(m, 2n), on designe par D le diagramme gradue obtenu a partir de D en effagant 
la premiere colonne. Soit k un entier superieur ou egal a 1. On definit D 1 ^ par recurrence, 
on pose D(°) = D et := pt*- 1 ) . 

• Soient D, D' £ V(m, 2n), on a D < D' si pour k>l, n (D (k) ) < n (D'W) et mfflW) < 
ni(D'( k )) oil no(D) (resp . n\{D)) est le nombre de (resp. 1) dans D. 

On note T(m,2n) le diagramme de Hasse de cet ordre sur T>(m,2n). 

A partir de r(m, 2n) on construit un diagramme de Hasse A(m, 2n) sur I?(m, 2n) et i q (en suivant 
[DL]) afin de prendre en compte le cas des diagrammes D pour lesquels do est une partition tres 
paire, et qui indexent done deux orbites differentes. Soient D, D' G T>(m, 2n) deux diagrammes 
differents, on note D —> D', si D < D' et s'il n'existe pas D" £ V(m, 2n) tel que £)<£»"< D' . Si 
la O(m) x S'P(2n)-orbite parametree par D n'est pas connexe on dit que D est instable (sinon il 
est dit stable). 

Definition 4. [DL] 

A(m, 2n) est obtenu a partir de T(m, 2n) en faisant les modification suivantes: 

(1) pour chaque paire (D,D') telle que D — > D et D ou D' est instable, on efface I'arete entre 
D et D'. 

(2) On remplace chaque noeud D par deux noeuds, D 1 et D 11 . 

(3) On insere deux aretes pour chaque arete effacee dans le point 1 de la fagon suivante: 

• si D est stable et D' instable: on joint D a D' 1 et a D' 11 , 

• si D' est stable et D instable: on joint D 1 et D 11 a D' , 

• si D et D' sont tous deux instables: on joint D 1 a D 1 et D 11 a D 11 . 

Comme dans le cas des paires symetriques ([Oh], [DL]) on a la proposition suivante: 

Proposition 5. Soient D et D' des diagrammes gradues etiquetes. On a Od < Od' si et seulement 
si D < D' oil (<) a pour diagramme de Hasse A(m, 2n). On a done Od' = Ud<d' Od- 

Demonstration - Le fait que, si Od C Od> alors D < D' , est evident. La demonstration de 
l'ordre sur les adherences des 0(m) x S'P(2n)-orbites est basee sur les resultats de [Oh], celle 
sur l'ordre des adherences des Go-orbites sur ceux de [DL]. On rappelle en annexe les differentes 
notations liees aux paires symetriques en suivant celles de [Oh]. 

Lemme 1. Soient D et D' deux diagrammes gradues tels que 

• leurs premieres colonnes coincident, 

• D < D' , oil < est l'ordre de la definition^ 

• D et D' indexent les orbites de type (Dili) ou (CI) (cf annexe). 

Soient 0^diii),d e t 0(diii),d> (resp. 0(cj),n et 0(ci),D') ces orbites. Dans ce cas D^- 1 ' et D'^ 
indexent deux 0(m) x SP(2n)- orbites O d w et D ni) et on a < D'^f Si 0(diii),d C 

0(diii),d> (resp. 0(ci),d C 0(ci),d') on a alors O n a) C D < { i). 
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Demonstration - On adapte la demonstration du lemme 7 de [Oh]. Les rappels de definition et 
de notation concernant les paires symetriques sont donnes en annexe. 

En effagant la premiere colonne de ces elements indecomposables on retrouve les elements 
indecomposables indexant les 0(m) x S'P(2n)-orbites. On va demontrer lc lemme pour les or- 
bites de type (Dili), l'autre cas se traitant de la meme fagon. 

Soient W — Wo © W\, U = Uq © U\ deux espaces vectoriels munis d'une involution notee Sw 
(resp. Sjj). On munit W d'une forme bilineaire orthogonale non dcgcncrcc Bw on a : B\y lw xw 
est orthogonale, Bw ]H r oxWl et Bw\ WlXWo sont nulles. On munit U d'une forme bilineaire orthosym- 
plcctiquc non dcgcncrcc notce Bjj. 
On pose : 

L(W,U) := Hom(W,U),L-(W,U) := {X e L{W,U)/s w X Su = -X}. 

On dcfinit l'adjoint X* € L(U, V) de X par Bu(Xw,u) = B w (w,X*u) pour (w,v) € W x V. 
On note K(U) = 0(m) x SP(2n), K(W) = 0{W) n GL(W ) x GL{Wi). 
On a alors : K{W) x K(U) agit sur L~(W, U) par (g, h)X = gXhr 1 . 
En appliquant le lemme II ([Oh]), on peut definir deux morphismes : 

p(W) A L~(W, U) ^ fli,7r(X) = XX*, p(X) = X*X 

On pose M := /5 _1 (0(_d///),_d'): on a P(M) = 0(diii),D' ([Oh], p206). De meme ir(M) = D t(i). 
Puisque D < D' on a 0(diii),d ^ 0^ DIU y D i. Or on a Omxn) d' — piM)- ^ existe done Y G M 
tel que p(Y) £ 0(d/7/),l>- On a, d'autre part, ^(p" 1 {0^dih),d)) = QdW (lemme 14,(2), [Oh]). 
On en deduit que ir(Y) G D (i) n 7r(M) e'est-a-dire 7r(y) £ O^m. On a done O fl (i) C D i{i). □ 

En jouant sur le fait qu'on peut echanger le role des et des 1 dans les cas traites par [Oh], on 
remarque que tous les cas qui restent sont traites dans la table v de [Oh] . 

II reste a present a demontrer que si D < D' , ou < a pour diagramme de Hasse A(m, 2n), alors 
les Go-orbites associees verifient On C Od>- 

Pour cela on utilise les resultats de [DL]. Soient D et D' deux diagrammes gradues instables 
tels que D' < D dans T(m, 2n). Si, pour tout D" tel que D' < D" < D, D" est instable, on dit 
que (D, D') est une paire pure. 

Lemme 2. Si (D, D') est une paire pure alors do = d' Q . 

Demonstration - On est dans le cas ou m = 2p. 

Soit D un diagramme gradue tel que do est tres paire. 

On va demontrer le lemme en montrant qu'il est vrai pour les indecomposables. On verifie facilc- 
ment que les seuls indecomposables possibles avec do tres paire correspondent aux cas (3), (4), (5) 
de la proposition [2] On traite en detail le cas (3), le raisonnement etant similaire pour les autres 
cas. 

On construit tous les diagrammes possibles D' < D tels que d' Q < do et d' est tres paire. 
On peut les voir sur la figure [H 

Soit D" = (<io",di") le diagramme forme 

• d'un indecomposable correspondant au cas (5) obtenu a partir du cas (3) en enlevant deux 
cases paires, 

• de deux lignes paires de longueur 1. 

II est represente sur la figure [21 

On verifie aisement que do" n'est pas tres paire et que D' < D" < D. 

On a done montre que si, D 1 < D avec d' et do tres paires et d' < d , alors la paire (£>,£>') 
n'est pas pure. □ 
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Figure 2. 

II suffit de montrer (Theoreme 3.7 [DL]) que pour une paire pure (D,D'), O^i (~l Od> = On" ■ 
Or on a : 

O d ,i \JO D ,u_ =0 D > C D = O d i L)O d u. _ 

Si Ojj'i C Opu alors, par continuite de K, on a k(Od/i) C k{Ojjii), i.e. O d ,i d , C O d u dl , ce 
qui n'est pas le cas. On a done Ojji PI 0_d' = O^i . □ 

On peut voir le diagramme de Hasse de l'ordre sur les Go-orbites nilpotentes impaires de osp(4, 4) 
sur la figure [3] (les orbites sont representees par leurs diagrammes gradues etiquetes, on a aussi 
indique la dimension des orbites que Ton calculera dans la suite) . 



On s'interesse a present a l'application k. On decrit ses fibres au dessus de chaque orbite paire. 
En utilisant la proposition [3] on obtient facilement le lemme ci-dessous. 

Lemme 3. Soit ^ une G^-orbite nilpotente de g 

k _1 (Oa, m ) = {O d £ A/i , D G T>(m, 2n) tel que d — A, d% = ^} 

Remarque - La fibre est vide la plupart du temps car e'est le cas si dans /i il n'y a pas de part 
egale a Aj — 1, A, ou A, + 1. 
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Figure 3. 
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Lemme 4. Soient (A, /i) G P (m)etiq x Psp(2n) telles que A et /i comportent au plus une sous- 
partition en commun de la forme (fc, k, k — 1, k — 1), k > 1. // existe un unique diagramme gradue 
etiquete maximal D ma x(\,ii) verifiant (do, d±) = (A, fi). On a k _1 (Oj j(i ) = Ob max{x . -Era d'autres 
termes, n~ 1 (0\, fl ) est irreductible. 

Demonstration - Supposons que A et /i ne comportent pas de sous-partition en commun de la 
forme (fc, fc, k—1, k—1) avcc k > 1. Pour que k _1 (Oa,/j) contienne plus d'une orbite il faut que dans 
A (resp. fi) il y ait 2k (resp. 21) parts egales a 1. On remarque alors que si A est tres paire K~ 1 (0\i^) 
oil i G {/,//} ne contient qu'une orbite. On en deduit que si n~ 1 (0\ tfl ) contient plusieurs orbites 
alors l'ordre sur ces orbites a pour diagramme de Hasse T(m, 2n). II suffit ensuite de montrer que 
D max(A,/i) existe. Ceci resulte du fait que l'ensemble Da :A , = {D G T>(m, 2n)/(do, d\) = (A, /z)} est 
totalement ordonne. 

Soit D res (resp. -Dmd) le diagramme obtenu a partir de D G Da,^ en effacant toutes les lignes 
de longueur I > 2 (resp. de longueur I < 2). Tous les D in d sont les memes pour D G Da, m . 
Les diagrammes D res possibles sont dessines sur la figure |4] 




Figure 4. 

On a done no(-Drel) = ni(Di]) s ) — m G N et no(Di 2 J s ) — ni(Drel) = i.e. l'ensemble 
{D res /D G Da, m } est totalement ordonne. Soit D,D' G Da, m on a uq 

no(-D^S) = n Q {D^l) + n (MS) et done soit D < D' soit D > D' . 

Supposons que A et comportent en commun une seule sous-partition de la forme (fc, fc — 1, fc — 
1), k > 1. On peut construire deux diagrammes gradues, l'un admettant comme sous-diagramme 
L>i = (2k, 2k, 2k -2,2k- 2), l'autre D 2 = {2k -1,2k- 1, 2k -1,2k- I). On ne s'interesse qu'a ces 
sous-diagrammes les restes des deux diagrammes etant identiques. Pour les comparer on efface les 
2k — 2 premieres colonnes qui sont identiques. Les deux diagrammes D^ k 2 ' et D^ k 2 ^ restant 
sont ceux de la figure 4 d'une part avec p = 2, q — d'autre part avec p = 0, q = 1. On en deduit 
que D max( A, A1 ) existe. □ 

Remarque - Si A et /x comportent deux sous-partitions communes de la forme (fc, fc, fc — I, fc — I ) 
et (1,1,1 — 1,1 — 1), k > 1 et I > 1, alors certains diagrammes ne sont pas comparables. En effet, on 
construit les quatre sous-diagrammes possibles £q = (2k, 2k, 2k — 2,2k — 2, ... , 21, 21, 21 — 2,21 — 2), 
D 2 = (2k, 2k, 2k - 2,2k - 2, ... ,21 - 1,21 - 1,21 - 1, 21 - I), D 3 = (2k -1,2k- 1, 2k -1,2k- 
l,...,2l, 21, 21 -2,21- 2) et D 4 = (2k - 1,2k - 1,2k - 1,2k - 1, ... ,21 - 1,21 - 1, 21 -1,21- I). 
On verifie facilement que D 2 et D% ne sont pas comparables. 

On en deduit le corollaire suivant: 

Corollaire 1. Le cone nilpotent impair M\ de osp(m,2n) est irreductible. 

Demonstration - D'apres la proposition 01 il suffit de donner tous les diagrammes gradues 
etiquetes possibles parametrant une orbite maximale et de verifier d'une part que dans aucun 
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des cas do n'est tres paire d'autre part que A et fi comportent au plus une seule sous-partition 
commune de la forme (k, k, k — 1, k — 1), k > 1. Les diagrammes gradues etiquetes possibles sont 
decrits sur la figure [5] 




4b 1 10 4n+1 



Figure 5. 

En effet, sauf dans le cas 4a, c'est un diagramme de forme "hook", dont la ligne la plus longue 
est impaire et de longueur maximale et la colonne est constitute de cases signees isolees en cardinal 
necessaire pour completer. Dans le cas 4a il est forme de deux lignes impaires et d'une colonne 
constitute de cases signees isolees en cardinal necessaire pour completer. 

II est evident que dans les cas ci-dessus A et fj, verihent les hypotheses de la proposition 4. □ 

On s'interesse ensuite a la hbre au dessus d'un element quelconque de A/q- Pour en donner la 
dimension, on a besoin de la dimension des orbites nilpotentes impaires, que Ton trouve dans [KP]. 

Proposition 6. [ KP] Soient D G T>{m, 2n) un diagramme gradue et Od la O(m) x SP(2n)-orbite 
associee. On a 

dim Od — -(dim k(Od) + dim Vo X dim Vi — Ad), 

ou 

A D = P ^ 

i = 1 mod 2 
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Pi (resp. h) designant le nombre de lignes paires (resp. impaires) de D de longueur i. 

On remarque que, dans le cas ou m est pair, la 0(m) x S'P(2n)-orbite parametree par un 
diagramme D tel que do est une partition tres paire, se decompose en deux composantes connexes 
de meme dimension. 

On peut a present donner la dimension d'une fibre de re au dessus d'un element : 

Proposition 7. Soit X G Af . Soit (A, /i) G P ( m )eti q x p S p(2n) tel que X G Ox tfl et D max{x ,^ G 
T>(m,2n) tel que 0£> max(A j C re (O^). On a aZors 

dim re _1 (Xo) = —(dim 0\ tfl + dim Vq x dim Vi — A£> max(A 

Demonstration - D'apres la proposition[4]on sait qu'il existe une orbite maximale dans re _1 (0.x,/j), 
notons-la Or> max(Afl) - On regarde re : OD max ^ . — ► Oa,/,. Les fibres de ce morphisme sont 
equidimensionnelles et on a dim k~ 1 (Xo) = dim — dim 0_D max(A Le resultat decoule de la 
proposition precedente. □ 

On peut voir les dimensions des Go-orbites nilpotentes impaires de osp(4,4) sur la figure U2 

4. SOUS-ALGEBRES DE BOREL MIXTES 

Rappelons d'abord les choix de bases que nous avons faits pour Vq et V\ : 

• Si dim(Vo) = 2p+ 1, on choisit une base eo, ■ ■ ■ , e-i v t.q. B(e^ ej) = S i 2p -j, ce qui fait que les 
sous-espaces engendres par eo, . . . , e p _i et e p +i, . . . , e 2 p sont totalement isotropes et en dualite, le 
vecteur e p etant anisotrope. 

• Si dim(Vo) = 2p, on choisit une base e[, . . . , e' 2p t.q. B(e[, e') = Si^p+i—j, ce qui fait que les 
sous-espaces engendres par e[, . . . ,e' p et e' p+1 , . . . , e' 2p sont totalement isotropes et en dualite. 

• On choisit une base fi, ■ ■ ■ f 2n de V x telle que B(f h fj) = S^n+i-j si i < j et B(f i ,f j ) = 
—Si,2n+i-j si i > j. Les sous-espaces engendres par fi, . ■ ., f n et f n +i, ■ ■ ■ , /2n sont totalement 
isotropes et en dualite. 

Soit bo la sous-algebre de Borel de go qui preserve les drapeaux partiels definis par les suites de 
generateurs : 

• Si dim(V ) = 2p + 1, e , . . . , e p _i, fx, ...,/„, 

• Si dim(V ) = 2p, e[, . . . , e' p , f u . . . , /„. 

Cette sous-algebre preserve bien entendu les drapeaux complcts dchnis par les bases choisies 
de Vq et Vi, mais cllc est dcja dctcrmince par les vecteurs sus-mentionnes. En effet, on complete 
le drapeau en passant aux sous-espaces orthogonaux (on a < eo, . . . , e p _i >^=< eo, . . . ,e p >,< 

e li ■ ■ • ! e p > = < e li • • ■ j e p+l < Jli ■ • • j Jn > — < Jl: ■ ■ ■ : Jn >, 

< /i, . . . , /„_i > J -=< /i, . . . , /„+i >, et ainsi de suite). 

On sait ([Kal], [DeL]) que les sous-algebres de Borel de g qui contiennent bo ne sont pas 
deux-a-deux conjuguees et que les classes de conjugaison sont en correspondance avec les ordres 
sur les vecteurs eo, . . . , e p _i, fx, . . . , /„ (resp. e' 1; . . . , e' p , fx, . ■ ■ , /„) qui preservent l'ordre croissant 
sur les ej (resp. e-) et les fj. 

Dans [Kal], Kac choisit la sous-algebre de Borel correspondant a l'ordre 
eo, . . • , e p _i, fi,...,f n (resp. e^, . . . , e' p , fx, ■ ■ ■ , f n ) pour etudier la theorie des representations. 

En observant la forme des matrices de representants des orbites nilpotentes impaires, on constate 
que cette sous-algebre de Borel ne les rencontre pas toutes : elle ne rencontre que les orbites du 
cone autocommutant. 

Nous nous interessons ici aux sous-algebres de Borel qui melangent le plus vecteurs pairs et 
impairs. 

Definition 5. La sous-algebre de Borel mixte contenant bo est definie par l'ordre suivant sur les 
vecteurs : 

• Cas 1) 05p(2n + f , 2n) : e , fx, ex, ■ ■ ■ , e„_i, /„. 

• Cas 2) osp(2n, 2n) : fx,e' x ,h <_!>/«> e «- 



12 



CAROLINE GRUSON AND SEVERINE LEIDWANGER 



• Cas 3) osp(2p + l,2n) avec 

a) p<n : fi, .. ., / n - P! e , / n _ p+ i,ei, . . . ,e p _i, /„. 

b) p> n : e , e p _„, /i,e p _„+i, . . . , e p _i, /„. 

• Cas ^) osp(2p, 2n) avec 

a) p < n : fx, . . . , fn^p+x^^, f n - P +2, e' 2 , ■ ■ ■ , f n ,e' p . 

b) p > n : e[, e p _ n , fi, e' p _ n+1 , ...,/„, e' p . 

Pour toute sous-algebre de Borel bo de Qo, on construit de la meme maniere une unique sous- 
algebre de Borel mixte de q contenant bo- On notera Bm V ensemble des sous-algebres mixtes de 
0- 

Proposition 8. La sous-algebre de Borel mixte rencontre toutes les orbites nilpotentes impaires. 

Demonstration - D'apres le corollaire Q] on sait qu'il n'existe qu'une orbite nilpotente maximale. 
Dans tous les cas le diagramme gradue etiquete qui lui correspond est decrit sur la figure On 
verifie que cette orbite rencontre la sous-algebre dc Borel mixte. On ne fait ici que le premier 
cas les autres se traitant de la meme facpn. On le montre par recurrence sur n. Soit (u, u*) un 
element de Mi. De do (et done des connaissances sur l'orbite nilpotente de o(2n +1)) on deduit 
que le noyau de u contient un vecteur isotrope de Vq, que l'on note x. On considere l'hyperplan Hq 
orthogonal a x dans Vq. On remarque que u(H ) C V\ puisque H contient x. Soit y un element 
de Vi orthogonal a u(H ). Soit Hi l'espace vectoriel orthogonal a y dans V\. 

On considere ensuite les espaces vectoriels 

Wo = H Q /Cx and Wi = Hi/Cy. 
On remarque que W = Wq © W\ est un espace vectoriel orthosymplectique de dimension (2n — 
1, 2n — 2) et que u induit un element nilpotent impair de osp(W): on peut lui appliqucr Phypothese 
de recurrence. Et le resultat en decoule. 

Pour conclure, on aura besoin du lemme connu suivant : 

Lemme 5. Notons b\ la partie impaire d'une sous-algebre de Borel de g. La reunion des orbites 
sous Gq qui rencontrent b\ est fermee dans Q\. 

Demonstration - (du lemme) Soit Gr la grassmannienne des sous-espaces de dimension ran de fji. 
Pour toute sous-algebre de Borel, bi est un element de Gr dont le stabilisateur dans SO{m) x Sp(2n) 
contient le sous-groupe B de Go d'algebre de Lie la partie paire de la sous-algebre de Borel choisie. 
Son orbite dans Gr est done Zariski-fermee. Soit / C Gr x Qi l'ensemble des couples (V, u) dans 
Gr x gi avec u £ V. 

On note Pi,P2 les projections de / sur chaque facteur. La reunion des orbites qui rencontrent 
bi est 

|J p 2 fc\g.bi)). 

g£SO(m)xSp(2n) 

Comme p\ est continue et p 2 est propre, cet ensemble est bien Zariski-ferme. □ 

La reunion des orbites nilpotentes impaires qui rencontrent bi est done un ferme qui contient 
l'orbite nilpotente impaire maximale, d'ou le resultat. □ 

5. DESINGULARISATION DU NILCONE IMPAIR DES SUPER ALGEBRES DE TYPE 0Sp(2n+ l,2n) ET 

osp(2n, 2n). 

Nous commengons par traiter en details le cas de osp(2n + 1, 2n). 

On considere que, grace a la forme orthosymplectique, les espaces Vb et V\ sont identifies avec 
leurs duaux. 

Soit X = Go /Bo la variete des drapeaux de la partie paire de g. On note Ox le faisceau 
structural de X. 
Notons 

{0} = £ o c£iC...C E 2n+1 = V 
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le drapeau tautologique de Vb <8> Ox et 

{0} = F Q c F x C . . . C F 2n = Vx 

le drapeau tautologique de V\ ® Ox ■ 
Soit 

<Pi : Hom(E i+1 ,Fi) — > Hom(Ei,Fi) 
obtenue par restriction pour 1 < i < 2n et soit 

V>* : Hom{Ei,Fi-{) — » Hom{E l ,F i ) 

obtenue par l'inclusion C Fi, 2 < i < 2n. 

Soit x : (BiHom(E i+ i, Fi) — ► (BiHom(Ei, Fi) le morphisme dont la matrice par blocs est 



/ 


<P1 





. 


. 


\ 




-1p2 




. 


. 











¥3 ■ 


. 




V 








. 


• </?2n 


/ 



Alors x est surjective done Kerx definit un fibre au dessus de X. On notera Mi ce fibre. 

Proposition 9. Le fibre Mi au dessus de la variete de drapeaux X est une desingularisation du 
nilcdne impair Mi de q 



Demonstration - On a un morphisme / : Mi — > fli. Soit U l'ouvert de Mi tel que : si une 
collection (tti, . . . u 2n ) d'homomorphismcs m : E i+ i — ► Fi est un element deMi, (ui, . . . U2n) & U 
si et seulement si chaque m est surjectif. On a f(ui, . . . U2 n ) = U2n £ 01- 

Montrons que U2n £ M~i : ui est la restriction de U2n a Ei. Sa restriction a E\ est nullc. Done 
le noyau de U2n contient Ei et lui est done egal puisque u 2n est une application surjective. Le 
morphisme u 2n a pour image E^ = E 2n puique, pour tout clement g e Qi, (Kerg) 1 - = Img*. 
Or U2n envoie E 2n dans F 2n -i, on reproduit le raisonncment en remplagant Vq par E 2n /Ei et Vi 
par F 2n -i/Fi : on se retrouve avec la meme situation pour osp(2n — 1, 2n — 2). On procede par 
recurrence : on verifie que les choses marchent pour osp(3, 2), ou on a la situation suivante: 

les drapeaux sont 

Eq C Ei C E 2 C -E/3 , Fi b C Fi C F2 

et on a : 

Keru 2 = Ei, Imu 2 = F 2 , u 2 \e 2 ■ E 2 —> Fi. 
D'autre part, u* 2 : F 2 —> E 2 = E^ . 

Done u 2 o u 2 va de F 2 dans F\. Or u 2 i Fl va de Fi dans Ei ce qui fait que u 2 o u 2 o M2 va de F 2 
dans et -Ei est le noyau de u 2 ce qui fait que {u 2 ° u 2 ) 2 — 0, done (^2,^2) est un element du 
nilcone Mi ■ 

Le morphisme / est un isomorphismc de U sur l'ouvert S de Mi forme des elements surjectifs : 
si (u, u*) € S, dim Keru = 1, done dim Ker(u* o u) — 1 la suite des noyaux iteres des puissances 
de u* o u forme un drapeau complct et est done un clement de U. □ 

Remarque - On pcut rcinterpreter Mi comme suit : 

Mi = {(b,x) e B M x Mi,x e b}. 



Theoreme 1. Le fibre vectoriel Mi = {(b,x) G Bm x Mi, x E b} au dessus de Gq/B est une 
desingularisation de Mi pour osp(2n + 1, 2n) et osp(2n, 2n). 
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Demonstration - Supposons que g = osp(2n + l,2n). Soit Or> max la grosse orbitc. Soit U = 
{Bm x 0r> max }. C'est un ouvert de A/i. 

Soit x = (u,v) G 0_D max . Montrons qu'on peut lui associer un drapeau complet (Wi) correspon- 
dant a une sous-algebre de Borel mixte. 

On utilise le diagramme indexant l'orbite maximale de Afi (et done la description des noyaux 
de a; £ 0_D max qu'il contient). 

On pose : 

• pour i de 1 a n + 1, W^i-i = ker(x l )\y © ker(x l ~ 1 )\v 1 , 

• pour j de 1 a n, Wij — ker(x l ). 

D'apres le diagramme de Oo maal on remarque que dim Wn-\ = i + i — 1 de mcme dim Wij = 
dim ker(x 3 ) — 2j. 

De plus on a H V = E Ent( ^i±L), Wi n Vi = F Ent ^, {(Ei), (F 3 )) G X. On obtient done que 
(Wi) est un drapeau complet correspondant a une sous-algebre de Borel mixte de osp(2n + 1, 2n). 

Supposons a present que g = osp(2n, 2n). Soit On max la grosse orbite. Soit U = {Bm x On max }- 
C'est un ouvert de N\. 

Soit x = (u, v) G On max - Montrons qu'on peut lui associer un drapeau complet (Wi). 

On sait que pour o(2n), X max = (2n — 1,1). On en deduit qu'il existe un vectcur a G Vq 
anisotrope tel que a G kerx. Soit V Q — V \ <a> . On pose : 

• pour i de 1 a n, W^»-i = fcer(x 4 )| Vl © fcer(x^ 1 )| y ' , W 2 i = ker(x l ),, v ' @Vi y 

• pour i de n + 1 a 2n, W 2 i_i = fcer(x I_1 )| V ' ©fcer(x I_1 )|y 1 , = fcer(x*)|y 1 ©fcer(x^ 1 )|y . 

On a W (~l Vo = E Ent (±^, Wi f~\Vi = F Ent ^i+iy Comme ci-dessus on vcrific aiscment que ce 
drapeau est complet. Et done (Wi) est bien un drapeau complet correspondant a une sous-algebre 
de Borel mixte de osp(2n, 2n). 

□ 

Remarque - On voit que cet enonce est un analogue de la desingularisation de Springer pour le 
cone nilpotent classique : si on note Mq = {(bo, x) G X x A/"o, G bo)}, qui est le fibre cotangent a 
la variete des drapeaux X, 7V"o est une desingularisation du cone nilpotent pair Ao. 

Remarque - Dans les cas oil les rangs des deux composantes de la partie paire different, cette 
construction ne permet pas de reconstituer un drapeau complet de Vo©Vi car tout element nilpotent 
de l'orbite maximale a un noyau de dimension au moins 2. 

Corollaire 2. L 'application g : J\f\ — ► Afo definie par g((b, (u,u*))) = (b , {u* o u,u o u*)) est un 
morphisme compatible avec k. 

Demonstration - II suffit juste de montrer que le diagramme suivant commute : 



7Tl 

M — ^ A/q 



o 

To 



Ce qui est evident car par construction on a no(g((b, (u, u*))) = (u*ou, uou*) et K((iri(b, (u, u*))) = 
(u* ou,uo u*). □ 
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6. Annexe 

Dans cette partie on rappelle quelqucs notions et notations (voir [Oh]) sur les paires symetriques 
classiques, necessaires a la demonstration dc l'ordre sur les adherences de Zariski des orbites nilpo- 
tentes impaires. 

Soit G un groupc algcbrique reductif d'algebre dc Lie g et une involution de G. On note 
aussi l'involution induite sur g. Soit g = t + p la decompostion de Cartan de g par rapport a 9. 
On note (0,6) la paire symetrique definie par (G,0). Soit V un C-espace vectoriel de dimension 
finie, s une involution sur V. On munit V d'une forme bilineairc non degeneree 0-invariante. 
On pose G(V) := {g e GL(V)/g* = g- 1 }, K(V) := {g e G{V)/6{g) = g}, t{V) := LieK(V), 
p(V) = {X e g(V)/6(X) = -X}. (fl(V),«(V)) est une paire symetrique. 

Les paires symetriques qui nous interessent sont celles de type (Dili) c'est-a-dire 
(o(2n, C), gt(n, C)) et de type (CI) c'est-a-dire (sp(2n, C), gt(n, C)). Les diagrammes indecomposables 
qui parametrent les if(y)-orbites nilpotentes dans p(V) sont les suivants. Pour le type (Dili): 

• deux ligncs impaires de longueur I paire, 

• deux lignes paires de longueur I paire, 

• deux lignes, l'une paire l'autre impaire de longueur I impaire. 
Pour lc type (CI): 

• une lignc impaire de longueur paire, 

• une ligne paire de longueur paire, 

• deux lignes impaires de longueur I impaire. 
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